home *** CD-ROM | disk | FTP | other *** search
/ JCSM Shareware Collection 1993 November / JCSM Shareware Collection - 1993-11.iso / cl700 / beta27.lzh / WHYBETA.DOC < prev   
Text File  |  1993-04-21  |  44KB  |  1,148 lines
  1.        
  2.  
  3.  
  4.  
  5.  
  6.        
  7.        
  8.        
  9.        
  10.        
  11.                         BBBBBB    EEEEEEE   TTTTTTTT    AAAA
  12.                         BB   BB   EE        T  TT  T   AA  AA
  13.                         BBBBBB    EEEEE        TT      AAAAAA
  14.                         BB   BB   EE           TT      AA  AA
  15.                         BBBBBB    EEEEEEE      TT      AA  AA
  16.        
  17.        
  18.                  RRRRRR   EEEEEE  PPPPP    OOOO   RRRRRR   TTTTTTTT
  19.                  RR   RR  EE      PP  PP  OO  OO  RR   RR  T  TT  T
  20.                  RRRRRR   EEEE    PPPPP   OO  OO  RRRRRR      TT
  21.                  RR  RR   EE      PP      OO  OO  RR  RR      TT
  22.                  RR   RR  EEEEEE  PP       OOOO   RR   RR     TT
  23.        
  24.        
  25.                 PPPPP  RRRRR   OOOO   GGGGG  RRRRR   AAAA    MMM MMM
  26.                 PP  PP RR  RR OO  OO GG      RR  RR AA  AA  MM  M  MM
  27.                 PPPPP  RRRRR  OO  OO GG  GGG RRRRR  AAAAAA  MM  M  MM
  28.                 PP     RR RR  OO  OO GG    G RR RR  AA  AA  MM  M  MM
  29.                 PP     RR  RR  OOOO   GGGGG  RR  RR AA  AA  MM  M  MM
  30.        
  31.                   COPYRIGHT (c) 1992-1993 , MyLife Software
  32.                       - all rights reserved.
  33.        
  34.        
  35.        
  36.        
  37.        
  38.        
  39.        
  40.        
  41.        
  42.        
  43.        
  44.                               ________
  45.                           ____|__     |               (R)
  46.                        --|       |    |-------------------
  47.                          |   ----|--  |  Association of
  48.                          |  |       |_|  Shareware
  49.                          |__|   o   |    Professionals
  50.                        -----|   |   |---------------------
  51.                             |___|___|    MEMBER
  52.        
  53.        
  54.  
  55.        
  56.  
  57.  
  58.  
  59.  
  60.                            Beta Test Program
  61.                            Table of Contents
  62.        
  63.        Introduction.......................................... 1
  64.        
  65.        What's in the package................................. 2
  66.             Manual........................................... 3
  67.             Ideas............................................ 3
  68.             Files............................................ 3
  69.             System requirments............................... 3
  70.        
  71.        Quick Start........................................... 3
  72.        
  73.        What's a beta test program............................ 5
  74.             Design phase..................................... 6
  75.             Alpha testing.................................... 6
  76.             Beta testing..................................... 6
  77.             What beta testing is not......................... 7
  78.        
  79.        Why is a beta test program important.................. 7
  80.             Less bugs........................................ 7
  81.             Quicker application turnaround................... 8
  82.        
  83.        How will a beta test program help me.................. 8
  84.             Less bugs........................................ 8
  85.             More sets of eyes................................ 8
  86.        
  87.        Developing a beta program............................. 9
  88.             Items needed..................................... 9
  89.             Soliciting beta testers......................... 10
  90.             What to give to testers......................... 10
  91.             Customizing..................................... 10
  92.        
  93.        Making a beta program work........................... 11
  94.             Number of beta testers.......................... 11
  95.             Different pieces................................ 11
  96.             Share the effort................................ 12
  97.        
  98.        Methods of implementation............................ 12
  99.             Same testers.................................... 12
  100.             Different testers............................... 12
  101.             Specific testers................................ 13
  102.        
  103.        What's in it for the beta tester..................... 13
  104.        
  105.        What is BETARPT.EXE.................................. 14
  106.             Command line options............................ 14
  107.             System requirements............................. 16
  108.        
  109.        Why use BETARPT.EXE.................................. 16
  110.        
  111.        How will BETARPT.EXE help me......................... 17
  112.        
  113.        Summary.............................................. 17
  114.        
  115.        Trademarks........................................... 17
  116.  
  117.        
  118.  
  119.  
  120.  
  121.  
  122.                               INTRODUCTION
  123.        
  124.        Before we get started let me introduce myself. My name is 
  125.        John Michael Sanders. I write custom business software and 
  126.        shareware. I began my humble little business originally 
  127.        called, Energy Software, in 1989. I later dissolved that 
  128.        business and began MyLife software to better reflect the 
  129.        efforts I was putting forth in the business. I had hopes and 
  130.        dreams of being another Bill Gates. Well I must admit it 
  131.        hasn't turned out that way, but I haven't given up either.
  132.        
  133.        I started my business by writing small utility programs. My 
  134.        first major application was a program that computed monetary 
  135.        savings using various energy saving appliances and devices 
  136.        as apposed to conventional products. It was a good program, 
  137.        no sales, the company I wrote it for folded shortly there 
  138.        after.
  139.        
  140.        Several major projects later, I was faced with designing a 
  141.        30,000 line database application that would access 21,000 
  142.        files spread over 12 drives in 600 subdirectories in a 
  143.        network environment. Some application huh!
  144.        
  145.        Well, in 1991 the thought finally occurred to me how do I 
  146.        possible test, to the fullest extent possible the 
  147.        applications I have written. Therefore I wrote BETARPT. The 
  148.        use of BETARPT and an effective beta testing program reduced 
  149.        the time I could deliver an application to a client, or 
  150.        shareware market drastically.
  151.        
  152.        The quicker I could turnaround a software application that 
  153.        worked and was nearly bug free the more time I had to write 
  154.        other applications. The idea worked and I'm inching closer 
  155.        and closer to achieving financial independence. Look out, 
  156.        Bill. 
  157.        
  158.        The following pages are intended to provide you, the 
  159.        software developer, the same flexibility I have gained. I 
  160.        use something the big guys; IBM, MicroSoft, Borland and 
  161.        others have been using all along, a beta test program.
  162.        
  163.        I will assume that you are not new to the computer industry 
  164.        and have some experience with computers and a general 
  165.        business sense about you. In addition, I hope you are 
  166.        generally knowledgable about computer bulletin boards, If 
  167.        not you'll have to get smart before proceeding. 
  168.        
  169.        The big guys have known all along that they cannot detect 
  170.        all the possible bugs hidden within the applications they 
  171.        have written. Even with a good beta test program bugs in
  172.        
  173.        
  174.        
  175.                                    1
  176.  
  177.        
  178.        
  179.  
  180.  
  181.  
  182.  
  183.        software do get released by major companies, some are; 
  184.        MicroSoft-QuickBASIC v4.0, Central Point Software-PC Tools, 
  185.        v7.0, Ashton Tate-dBase v4.0 just to name a few.
  186.        
  187.        I won't focus on how to design your applications, market 
  188.        them, or dream up new ideas for you. The sole focus is to 
  189.        establish a method of allowing someone else, beta testers, 
  190.        to detect potential bugs in your software. I have also 
  191.        provided the basic tools for you to do this task. Two very 
  192.        fine Shareware publications that will give you much useful 
  193.        information on how to develop and market your Shareware 
  194.        applications are;
  195.        
  196.             a. The $hareware Marketing $ystem
  197.                Seattle Scientific Photography
  198.                Attn.: Jim Hood
  199.                P.O. Box 1506
  200.                Mercer Island, WA  98040
  201.        
  202.                (206) 236-0470
  203.        
  204.             b. The Shareware Book
  205.                Compass/New England
  206.                Attn.: Bob Schenot
  207.                P.O.Box 117
  208.                Portsmouth, NH  03802-0117
  209.        
  210.                (603) 431-8030
  211.        
  212.        These two applications would sure have made my life easier 
  213.        as a Shareware author if I knew they were available when I 
  214.        got started.
  215.        
  216.        A final free plug. I would suggest a considering a 
  217.        membership with the Association of Shareware Professionals. 
  218.        This association is dedicated to the growth of the shareware 
  219.        idea. The membership dues represent an investment, but; I 
  220.        believe the benefits far outweigh the cost.
  221.        
  222.        
  223.                          WHAT'S IN THE PACKAGE?
  224.        
  225.        The beta test package contains all the essential 
  226.        information needed to develop a successful beta test program 
  227.        within your organization. It is not designed to be totally 
  228.        inclusive. The reason behind this is each shareware 
  229.        developer operates differently. The scope of this 
  230.        application allows you the flexibility of building on a 
  231.        solid platform of proven performance.
  232.        
  233.        
  234.        
  235.        
  236.                                    2
  237.  
  238.        
  239.  
  240.  
  241.  
  242.  
  243.        I really encourage you to read, evaluate, and see if such 
  244.        an in-depth program will work for you. If you feel that your 
  245.        business is destined to grow slightly, or take off like 
  246.        wildfire and you use the ideas of this package then please 
  247.        register this application.
  248.        
  249.        
  250.        Manual
  251.        
  252.        When we have received your registration fee we will 
  253.        immediately send you the registered beta test packet. The 
  254.        registered packet includes; a printed manual that is easy to 
  255.        read. The manual has been designed exclusively for the 
  256.        registered version.
  257.        
  258.        
  259.        Ideas
  260.        
  261.        Included are ideas for the development of a somewhat 
  262.        aggressive beta test program. This program is the basic 
  263.        platform for you to modify to your special needs. The 
  264.        framework is there, and so is the ability to be successful.
  265.        
  266.        
  267.        Files
  268.        
  269.        See the file named 'PACKING.LST' for all files included in 
  270.        the Beta Test Program application.
  271.        
  272.        With registration you will be notified of product upgrades. 
  273.        This is important because the ever changing software market 
  274.        demands that you as a developer remain current to stay 
  275.        competitive.
  276.        
  277.        Included in the Beta Test Program is a file called 
  278.        NONDIS.DOC. This file is a nondisclosure statement to be 
  279.        signed by you and the prospective beta tester. It is 
  280.        designed to protect you from a tester using your ideas and 
  281.        immediately developing a similar application. The 
  282.        nondisclosure statement is generic and should be reviewed by 
  283.        an attorney in your state to compensate for individual state 
  284.        laws.
  285.        
  286.        
  287.                               QUICK START
  288.        
  289.        The quick start section provides a quick overview on how to 
  290.        get the Beta Test Program up and running quickly. The quick 
  291.        start is presented in a step by step process so follow 
  292.        along.
  293.        
  294.        
  295.        
  296.        
  297.                                    3
  298.  
  299.        
  300.  
  301.  
  302.  
  303.  
  304.             a. Make a working copy of The Beta Test Program.
  305.        
  306.             b. Place the original disk in a safe place.
  307.        
  308.             c. Install The Beta Test Program on your harddrive.
  309.        
  310.             d. Use the command line option '\SETCOMPANY' to place 
  311.             your software businesses name in the BETARPT.EXE 
  312.             program.
  313.        
  314.             e. Use the command line option '\SETCOLOR' to make any 
  315.             color changes in the BETARPT.EXE program.
  316.        
  317.             f. Use the command line option '\SETDEVELOPER' to 
  318.             include any developer specific items you desire 
  319.             captured. Modify the BETARPT.HLP file to include a 
  320.             quick help screen for users. Developer help screens 
  321.             correspond to the help windows ^DEV1 thru ^DEV20.
  322.        
  323.             g. Modify the file README.DOC to include any changes 
  324.             to suit your tastes. At a minimum get the phone 
  325.             numbers and reporting procedures correct.
  326.        
  327.             h. Include the files; BETARPT.EXE, BETARPT.HLP, and 
  328.             README.DOC in a separate directory for beta tester 
  329.             use. These files must be given to the Beta Tester for 
  330.             knowledge on how to report bugs and use the 
  331.             BETARPT.EXE program.
  332.        
  333.             i. Establish some method of collecting bug reports 
  334.             from your beta testers.
  335.        
  336.             j. Establish some method of distributing your beta 
  337.             applications and the BETARPT.EXE program.
  338.        
  339.             k. Modify the appropriate changes to the files: 
  340.             APPLICAT.DOC and NONDIS.DOC.
  341.        
  342.             l. Widely distribute the file, APPLICAT.DOC, to 
  343.             solicit beta testers.
  344.        
  345.             m. Once beta testers are selected have them fill out 
  346.             and return the NONDIS.DOC to you. Make a copy of the 
  347.             form and mail a copy back to them.
  348.        
  349.             n. Distribute the beta application and the three beta 
  350.             test files mentioned in 'h' above.
  351.        
  352.             o. Complete and mail in the Beta Test Program 
  353.             registration form with appropriate payment. 
  354.        
  355.        
  356.        
  357.                                    4
  358.  
  359.        
  360.  
  361.  
  362.  
  363.  
  364.        It's that simply! NOT... Seriously, the setup of a good 
  365.        beta test program is time intensive. The above items clearly 
  366.        are not as cut and dry as I have presented but they will 
  367.        give you a good idea of what needs to be done.
  368.        
  369.        
  370.                       WHAT'S A BETA TEST PROGRAM?
  371.        
  372.        A beta test program is a program designed to remove 
  373.        possible bugs from software prior to release to the public. 
  374.        This also includes finding and correcting discrepancies in 
  375.        the software's user manual or on-line documentation.
  376.        
  377.        In short as a developer you go through at least 10 phases 
  378.        in bringing your application from an idea to end product. 
  379.        Those phases, or stages, are;
  380.        
  381.             a. Idea
  382.        
  383.             b. Flow chart
  384.        
  385.             c. Rough working model
  386.        
  387.             d. Refinement of rough model
  388.        
  389.             e. Draft working model
  390.        
  391.             f. Refinement of draft model
  392.        
  393.             g. Near final working model
  394.        
  395.             h. Refinement of near final model
  396.        
  397.             i. Marketing of software application
  398.        
  399.             j. Release of software application
  400.        
  401.        You may not do all of them or not even in the order listed 
  402.        above. I haven't flow charted since college! The point is a 
  403.        serious application isn't developed over night.
  404.        
  405.        The above phases are broken into four distinct groups, they 
  406.        are;
  407.        
  408.             a. Design phase
  409.                  1. Idea
  410.                  2. Flow chart
  411.        
  412.             b. Alpha Test
  413.                  1. Rough working model
  414.                  2. Refinement of rough model
  415.        
  416.        
  417.        
  418.                                    5
  419.  
  420.        
  421.  
  422.  
  423.  
  424.  
  425.             c. Beta Test
  426.                  1. Draft working model
  427.                  2. Refinement of draft model
  428.                  3. Near final working model
  429.                  4. Refinement of near final model
  430.        
  431.             d. Marketing and Release
  432.                  1. General marketing efforts.
  433.                  2. Release of software application
  434.        
  435.        
  436.        Design phase
  437.        
  438.        The design phase is the period that you use too mentally or 
  439.        on paper develop your application. It includes, but not 
  440.        limited; user interface, file I/O structures, user base of 
  441.        the software, and file design.
  442.        
  443.        
  444.        Alpha testing
  445.        
  446.        Alpha testing is designed to make sure that all features of 
  447.        the product work with other hardware and software that you 
  448.        have available. All alpha testing should be done in-house by 
  449.        you or other individuals working directly on the 
  450.        application. Alpha testing is always done before the product 
  451.        goes to outside sources. In addition, all major bugs are 
  452.        resolved. The software documentation and user manual is in a 
  453.        draft stage. At this point the software should not have left 
  454.        the development site.
  455.        
  456.        
  457.        Beta testing
  458.        
  459.        Once the in-house team has used the application 
  460.        sufficiently to ensure the application doesn't routinely 
  461.        lockup or blow off the software can be released for beta 
  462.        testing. 
  463.        
  464.        The beta test version of the software may be mailed to beta 
  465.        testers or it may be made available to beta testers on a 
  466.        local bulletin board.
  467.        
  468.        In the beta test phase the application is put through the 
  469.        paces of real world situations.  Beta testers help by using 
  470.        the software in their day-to-day environments. The beta 
  471.        testers provide more variety of testing to catch cosmetic 
  472.        flaws, compatibility problems, and other peculiarities about 
  473.        the software than in-house testing could possibly detect. 
  474.        Beta testers use the software and report anything that is 
  475.        not described by the manual, or seems to function 
  476.        improperly.
  477.        
  478.        
  479.                                    6
  480.  
  481.        
  482.  
  483.  
  484.  
  485.  
  486.        During this phase the beta tester is expected to report 
  487.        problems to you, you attempt to duplicate the problem and 
  488.        promptly correct the fault. Once several bugs have been 
  489.        detected by testers and fixed by the programmer(s) a beta 
  490.        test maintenance release should be issued to beta testers.
  491.        
  492.        Once a maintenance release is issued the beta testers 
  493.        should try to duplicate the errors they reported earlier to 
  494.        see if they were corrected in the maintenance release.
  495.        
  496.        
  497.        What beta testing is not
  498.        
  499.        Beta testing should not be a phase for redesigning the 
  500.        software. The primary purpose of beta testing is to find 
  501.        problems the way the program currently stands. As with most 
  502.        software, there may be features that the beta tester will 
  503.        dislike. As a developer and marketer it is wise to listen to 
  504.        potential customer comments, however; software redesign 
  505.        should not occur. At this point the your software has gone 
  506.        through some very timely processes and redesign would be to 
  507.        time consuming.  Beta tester comments can always be added in 
  508.        future software releases.
  509.        
  510.        
  511.                   WHY IS A BETA TEST PROGRAM IMPORTANT
  512.        
  513.        A beta testing program is important for two reasons; first 
  514.        it allows the developer to detect bugs early and it provides 
  515.        quicker turnaround of the application.
  516.        
  517.        
  518.        Less bugs
  519.        
  520.        The primary reason for a beta test program is that bugs are 
  521.        detected before the software is released to the public. If 
  522.        you have not sufficiently tested your software and released 
  523.        your program potential customers will be finding the bugs 
  524.        and move on to a competitors product without the bugs.
  525.        
  526.        In starting my fledgling software business, MyLife 
  527.        Software, I had a problem in effectively beta testing my 
  528.        software. First I tried to beta test my applications. If 
  529.        they were small I could do it just fine. Yet; larger 
  530.        applications cannot be tested correctly by just one person. 
  531.        I could not find all possible bugs that existed. Only 
  532.        through a well managed program can software bugs be removed, 
  533.        identified and fixed.
  534.        
  535.        
  536.        
  537.        
  538.        
  539.        
  540.                                    7
  541.  
  542.        
  543.  
  544.  
  545.  
  546.  
  547.        Quicker application turnaround
  548.        
  549.        By using the beta tester to detect your bugs this provides 
  550.        a greater opportunity for you to turn your applications 
  551.        around quicker. As an example; consider 12 testers working 
  552.        one hour a day on your application. This is 12 man hours. If 
  553.        you had to test and debug your own software that is a day 
  554.        and a half down the tube. 
  555.        
  556.        After one week of using a dedicated group of beta testers 
  557.        you will be able to detect more bugs than if you worked on 
  558.        an application yourself for a whole month. If only one 
  559.        individual debugs an application it defeats the purpose for 
  560.        testing. One user only uses the application a certain way. 
  561.        It would be very difficult for a single tester to alter 
  562.        their style of use.
  563.        
  564.        
  565.                  HOW WILL A BETA TEST PROGRAM HELP ME?
  566.        
  567.        Most shareware developers write software in hopes of making 
  568.        additional income. It is this driving force that should make 
  569.        you want to have a good beta test program. The cost of 
  570.        maintaining a beta test program is minimal in comparison to 
  571.        potential revenue lost. 
  572.        
  573.        
  574.        Less bugs
  575.        
  576.        By making use of an effective beta test program you can 
  577.        reduce the likelihood your target customer base will detect 
  578.        any bugs. Nothing will cause the loss of sales quicker than 
  579.        a nonfunctional or malfunctioning software application. I 
  580.        speak from experience on this matter. 
  581.        
  582.        More sets of eyes
  583.        
  584.        Prior to release it is best to have as many eyes looking at 
  585.        an application as possible. Those eyes can detect subtle 
  586.        differences in user interfaces, help screens, or other 
  587.        inconsistencies. I can't stress enough the importance of 
  588.        this area. Even a non-computer user looking at the various 
  589.        screens in an application may be able to provide very good 
  590.        advise. You would be surprised that even a child can provide 
  591.        useful input.
  592.        
  593.        
  594.        
  595.        
  596.        
  597.        
  598.        
  599.        
  600.        
  601.                                    8
  602.  
  603.        
  604.  
  605.  
  606.  
  607.  
  608.                        DEVELOPING A BETA PROGRAM
  609.        
  610.        As in anything, developing a beta test program is more 
  611.        difficult than maintaining it. Some thought is required for 
  612.        development of a beta test program. Some large commercial 
  613.        software companies offer 800 numbers that access a dedicated 
  614.        beta test bulletin board and Federal Express all beta 
  615.        releases. Others will use a message base on CompuServe. 
  616.        Unless you are very wealthy I do not recommend this. An 
  617.        effective program can be set up with a minimal investment of 
  618.        money.
  619.        
  620.        
  621.        Items needed
  622.        
  623.        Several things are required to make reporting procedures 
  624.        easier for your testers and distribution of beta test 
  625.        releases easier for you. The absolute minimum items are; 
  626.        
  627.             a. A database program to maintain all valid beta 
  628.             testers.
  629.        
  630.             b. A bulletin board, or access to, to receive bug 
  631.             reports and distribute updated beta releases.
  632.        
  633.             c. On the bulletin board a message base is needed. In 
  634.             addition, a special user ID for each product tested is 
  635.             required to collect dedicated bug reports for review 
  636.             by you.
  637.        
  638.        Ensure that when the bulletin board is set up that you have 
  639.        a weekly bulletin that is available to beta testers that 
  640.        provides them the status of the test. This is important 
  641.        because it helps in maintaining the interest of the testers.
  642.        
  643.        The above items are essential to get a beta test program 
  644.        off the ground. The database is required to maintain 
  645.        information about a potential tester likes and dislikes 
  646.        about different software applications. It would make no 
  647.        sense to send a beta tester a graphics application you have 
  648.        developed if they do not use graphics applications. You will 
  649.        find it is much more beneficial to select testers that have 
  650.        an interest in the application you are asking them to test.
  651.        
  652.        Your own bulletin board is a whole lot easier to maintain 
  653.        bug reports and distribute beta releases than using one 
  654.        belonging to someone else. However; if you cannot afford it 
  655.        here's a recommendation. Select a bulletin board in your 
  656.        area and ask the SYStems OPerator (Sysop) if you may use 
  657.        their board to run your beta test program from. Most will be 
  658.        more than willing to help. 
  659.        
  660.                                    9
  661.  
  662.        
  663.  
  664.  
  665.  
  666.  
  667.        Soliciting Beta Testers
  668.        
  669.        I would recommend several methods to gather a sufficient 
  670.        number of beta testers. One method is to place a message on 
  671.        several BBS's in your area requesting the need for beta 
  672.        testers. Another place is Computer User's Groups. This group 
  673.        may also be able to provide you with the name of additional 
  674.        people who would really enjoy testing your application.
  675.        
  676.        
  677.        What to give to testers
  678.        
  679.        When you have accepted an individual to become a beta 
  680.        tester the following files should be provided to the beta 
  681.        tester from the Beta Test package;
  682.        
  683.             BETARPT.EXE  - Main report generator
  684.             BETARPT.HLP  - Beta report help
  685.             README.DOC   - Instructions for using BETARPT
  686.        
  687.        These are the minimum files that should be provided. You 
  688.        may decide to include additional files. This is your choice.
  689.        
  690.        
  691.        Customizing
  692.        
  693.        The BETARPT.HLP and README.DOC files are in ASCII format. 
  694.        This was done intentionally to allow you, the developer, to 
  695.        customize the format as desired. I encourage you to do so. 
  696.        Altering the files will insert your companies favor and 
  697.        attitude. 
  698.        
  699.        A note on the help screens. Each help screen is delimited 
  700.        by a ^ sign. If you look at the help file you will notice 
  701.        the carrot(^). Do not remove the ^ or the capitalized 
  702.        letters that follow it. Do not start a line with the ^ sign 
  703.        as the BETARPT program will interpret this as a new help 
  704.        topic. Each help screen is limited to 125 lines. I feel that 
  705.        you should be able to say what is required within this 
  706.        limit.
  707.        
  708.        The README.DOC file will have to be minimally edited. If 
  709.        you do not a FAX then you'll need to remove the references 
  710.        to the FAX number. Also, you must insert your company name, 
  711.        address, and phone number. If there are any special 
  712.        procedures that you'll use on a regular basis this is the 
  713.        file to put them in. Think this out and be sure you say it 
  714.        clearly or you will get calls from your beta testers.
  715.        
  716.        
  717.        
  718.        
  719.                                    10
  720.  
  721.        
  722.  
  723.  
  724.  
  725.  
  726.                        MAKING A BETA PROGRAM WORK
  727.        
  728.        It takes work to maintain and operate an effective beta 
  729.        test program as I addressed earlier. If you are the chief 
  730.        cook and bottlewasher of your operation then set aside time 
  731.        solely to work with your beta test program.
  732.        
  733.        I can't tell you what is an appropriate amount of time, but 
  734.        the bigger the application the more time you should spent in 
  735.        the maintenance of bug reports and answering beta tester 
  736.        messages.
  737.        
  738.        
  739.        Number of beta testers
  740.        
  741.        This is a difficult topic to cover. The difficulty lies in 
  742.        the selecting of beta testers. For some of you 10 to 15 good 
  743.        beta tester should be sufficient. For others you might have 
  744.        to select 40 or more testers to test effectively your 
  745.        application. An absolute minimum of 10 beta testers should 
  746.        be used to evaluate accurately your application.
  747.        
  748.        I firmly believe more is better in the beta test arena. My 
  749.        bias comes because no two users ever use an application the 
  750.        same way. It only then seems logical more potential 
  751.        application flaws can be captured by more testers. I should 
  752.        add that this belief has not left me disappointed.
  753.        
  754.        
  755.        Different pieces
  756.        
  757.        When I have specific custom applications tested I tend to 
  758.        break the major application into smaller pieces. An example 
  759.        is if I were working on a large database application I might 
  760.        send the report program to one set of testers and the screen 
  761.        generator to another set and so on. I do this is done for 
  762.        three reasons;
  763.        
  764.             a. Many times the application has a very specific 
  765.             business function. The time it would take to get a 
  766.             beta tester fully knowledgable about the application 
  767.             may exceed the test period. 
  768.        
  769.             b. The other big reason is I write a lot of 
  770.             proprietary software and I never allow a tester to 
  771.             have the whole application. It is not to say that I 
  772.             don't trust the select group of testers that help me, 
  773.             I just never want to test or tempt them.
  774.        
  775.             c. Many of my business applications are very large and 
  776.             would exceed the capacity of the average testers 
  777.             harddrive.
  778.        
  779.                                    11
  780.  
  781.        
  782.  
  783.  
  784.  
  785.  
  786.        Spliting an application into pieces requires extra work 
  787.        you. It may include you creating special script files to be 
  788.        used. A script file is a dummy file that contains only the 
  789.        essential information to run the selected application. In 
  790.        the above example of the report generator you may develop a 
  791.        test database to give to the tester.
  792.        
  793.        The script files provided to the tester should be large 
  794.        enough to cover every aspect of the portion they are asked 
  795.        to test. If you fail to include an important section in your 
  796.        script file that portion will obviously not be tested.
  797.        
  798.        
  799.        Share the effort
  800.        
  801.        Sometimes I like to share the effort. This means I ask a 
  802.        group of testers to focus on a certain aspect of an 
  803.        application. I personally dislike writing mouse interfaces. 
  804.        In knowing my dislikes, I ask a group to check out every 
  805.        screen in which a mouse appears or should appear. I may ask 
  806.        any group to test only user interface and yet another to 
  807.        test the help system. You could break your section into as 
  808.        narrow or wide section as you desire.
  809.        
  810.        
  811.                        METHODS OF IMPLEMENTATION
  812.        
  813.        Once you have got a BBS set up, a database on-line and are 
  814.        ready to go here's the next step. I would recommend that you 
  815.        ask local SYSOPs and users groups to pass around the files 
  816.        APPLICAT.DOC and NONDIS.DOC. These files contain the 
  817.        application that a prospective beta tester should fill out 
  818.        and the nondisclosure statement.
  819.        
  820.        Same testers
  821.        
  822.        If a beta tester is helping you then by all means continue 
  823.        to use this tester. After a while these beta testers will 
  824.        become even quicker in submitting bug reports and prove to 
  825.        be a valuable asset. Sometimes, in exploring the flip side, 
  826.        you may have a tester with a very specific interest and can 
  827.        exploit the testers interest on the one application during 
  828.        each upgrade.
  829.        
  830.        
  831.        Different testers
  832.        
  833.        You should constantly be seeking new beta testers. It is 
  834.        always better to have to many than not enough as I wrote 
  835.        earlier. Bringing in new testers in the middle of a beta 
  836.        test window should not occur. If you are a one person 
  837.        operation you'll most likely be to busy dealing with your 
  838.        present bunch of testers to bring new ones on board.
  839.        
  840.                                    12
  841.  
  842.        
  843.  
  844.  
  845.  
  846.  
  847.        Only between beta test windows should you review beta test 
  848.        applications and provide them access to the BBS or send them 
  849.        an acceptance letter.
  850.        
  851.        
  852.        Specific testers
  853.        
  854.        Using the same testers repeatedly I have found not to be a 
  855.        wise idea. You must constantly bring new blood into your 
  856.        beta test program. The reason is beta testers learn your 
  857.        style and idiosyncracies. I'm not saying flush out all 
  858.        testers after every application test. Continually attempt to 
  859.        acquire new testers all the time.
  860.        
  861.        
  862.                    WHAT'S IN IT FOR THE BETA TESTER?
  863.        
  864.        Generally a person gets involved in beta testing 
  865.        applications because they have an interest in that 
  866.        particular type of application. They get to use the software 
  867.        before it is available to anyone else and can assist you in 
  868.        making it the best possible. 
  869.        Beta testers don't get paid for there services. They work 
  870.        for the love of using new applications. If fact, some 
  871.        testers even pay for the privilege of testing new software. 
  872.        During the beta test phase of OS/2 v2.0 selected persons 
  873.        paid $60.00 for the beta test disks and manuals. Hard to 
  874.        believe, isn't it!
  875.        
  876.        Beta testers play with your application several hours a 
  877.        week and get to deal with the frustration of it not 
  878.        performing as expected, writing you reports, and gaining the 
  879.        satisfaction of their efforts being corrected in the final 
  880.        release.
  881.        
  882.        One benefit beta testers generally receive, is a registered 
  883.        copy of the software they have tested so faithfully. This is 
  884.        an important reward for their efforts. Sometimes it is not 
  885.        possible to provide them a registered copy of certain 
  886.        applications. As in the case of custom business software. 
  887.        However; a beta tester may be able to become a client in 
  888.        future software endeavors.
  889.        
  890.        Sometimes you as the software developer may offer a 
  891.        commercial software application as a prize to the beta 
  892.        tester reporting the most valid bugs. You could also have a 
  893.        random drawing for free software or hardware for any beta 
  894.        tester who has submitted a valid bug during the beta testing 
  895.        window.
  896.        
  897.        If you maintain your own BBS you could set up special 
  898.        message bases available only to valid beta testers. Another 
  899.        
  900.                                    13
  901.  
  902.        
  903.  
  904.  
  905.  
  906.  
  907.        idea might be to raise there access time and file download 
  908.        limit. If you run a registered pay board you should give 
  909.        them free access.
  910.        
  911.        As you can see, the privileges are few and the expectations 
  912.        are high for beta testers. If you treat them well they will 
  913.        work hard for you and be a cornerstone of your business 
  914.        operation.
  915.        
  916.        
  917.                           WHAT IS BETARPT.EXE?
  918.        
  919.        BETARPT.EXE is a beta report generator used for creating 
  920.        bug reports. The program is designed to be used by your beta 
  921.        testers. The reports are to be used by you the software 
  922.        developer. This file, BETARPT.EXE, when used by the beta 
  923.        tester will generate a bug report that will allow you to 
  924.        isolate and fix a bug not detected during the alpha test 
  925.        phase.
  926.        
  927.        The BETARPT program is specifically tailored for developing 
  928.        bug reports. Its only function is to do that, and it does it 
  929.        well. Yes, I have debugged it!  I've used this program in 
  930.        one form or another for over two years and it provides the 
  931.        optimum information required for removing annoying bugs and 
  932.        application flaws.
  933.        
  934.        Before you complete any of the below operations it is 
  935.        recommended that you create a working copy of The Beta Test 
  936.        Program diskette. Use the DOS COPY command for this.
  937.        
  938.        The disk you just created will become your distribution 
  939.        diskette. Remember to distribute the modified diskette.
  940.        
  941.        
  942.        Command line options
  943.        
  944.        Command line options allow you to customize the BETARPT.EXE 
  945.        program to fit your needs and color preferences. Three 
  946.        command line options are offered.
  947.        
  948.             a. The Beta Test Program offers support to change 
  949.             colors suitable for your application. This is done by 
  950.             using the command line option \SETCOLOR.
  951.        
  952.                  EXAMPLE :   C:\> BETARPT \SETCOLOR
  953.        
  954.                  A menu will appear allowing you to select the 
  955.                  specific items you desire to change. Changing a 
  956.                  color is as simple as selecting the highlited 
  957.                  letter. After all colors changes are made select 
  958.                  the Quit option. You will then be prompted to 
  959.                  save the new colors.
  960.        
  961.                                    14
  962.  
  963.        
  964.  
  965.  
  966.  
  967.  
  968.             b. In order to allow the BETARPT.EXE programs to be 
  969.             customized with your business name do the following;
  970.        
  971.                  1. load BETARPT with the command line 
  972.                  \SETCOMPANY.
  973.        
  974.                  EXAMPLE A:\> BETARPT \SETCOMPANY
  975.        
  976.                  2. At this point enter your company name and 
  977.             press ENTER.
  978.        
  979.                  3. Next, place your street address and press 
  980.             ENTER.
  981.        
  982.                  4. Enter your City, State, and Zip.
  983.        
  984.                  5. Finally, enter your Technical support phone 
  985.             number and press ENTER.
  986.        
  987.                  6. If the information is correct press 'Y'.
  988.        
  989.                  7. If you desire to save the information you have 
  990.             just entered then press 'Y' and the data will be saved 
  991.             to BETARPT.EXE.
  992.        
  993.        Your company information will replace the information 
  994.        initially displayed on the main menu screen.
  995.        
  996.             c. Not all software authors require the same 
  997.             information and the Beta Test Program offers a method 
  998.             for the author to have an additional 20 items of 
  999.             information captured. In order to capture additional 
  1000.             information start BETARPT.EXE with the command line 
  1001.             '\SETDEVELOPER'. An example is provided below;
  1002.        
  1003.                  EXAMPLE :    A:\>  BETARPT \SETDEVELOPER
  1004.        
  1005.             Once the program has loaded you are given a scrollable 
  1006.             window with 20 selections. In the initial setup select 
  1007.             any line by using the up and down arrow keys and 
  1008.             pressing ENTER. After this is done you are asked if 
  1009.             you desire to 'E'dit a line or 'Q'uit. Should you to 
  1010.             edit a line the following applies.  The maximum field 
  1011.             length is 40 characters for this particular 
  1012.             instruction. Once you have entered the specific topic 
  1013.             the beta tester will then be able to provide you with 
  1014.             this requested information.
  1015.        
  1016.        
  1017.        
  1018.        
  1019.        
  1020.                                    15
  1021.  
  1022.        
  1023.  
  1024.  
  1025.  
  1026.  
  1027.             Additionally, the BETARPT.HLP file should also be 
  1028.             altered to provide the user with additional 
  1029.             information about the specific item. The help topics 
  1030.             are titled DEV1 - DEV20. The number refers to the 
  1031.             specific item. A maximum of 125 lines by 58 columns 
  1032.             may be used.
  1033.        
  1034.             Once all additional instructions have been entered in 
  1035.             the above fashion select 'Q'uit instead of 'E'dit. You 
  1036.             will be asked if you desire to SAVE the new 
  1037.             information. Select either 'Y'es or 'N'o.
  1038.        
  1039.             The beta tester will then be able to use the 'F8' key 
  1040.             to provide you with the additional information.
  1041.        
  1042.        
  1043.        System Requirements
  1044.        
  1045.        The BETARPT.EXE program requires the minimum;
  1046.        
  1047.             a. Monitor (Color recommended)
  1048.        
  1049.             b. Single disk drive
  1050.        
  1051.             c. 1 floppy disk
  1052.        
  1053.             d. DOS 3.0 or above
  1054.        
  1055.             e. 8086 processor or above
  1056.        
  1057.        That is it! The entire program and the help file will fit 
  1058.        on a single 360k floppy disk.
  1059.        
  1060.        
  1061.                           WHY USE BETARPT.EXE?
  1062.        
  1063.        The need is clear for the use of this application. By 
  1064.        implementing BETARPT.EXE into your software testing and 
  1065.        development process you should be able to achieve new 
  1066.        heights in developing applications. This is no high pressure 
  1067.        software sales pitch. By using BETARPT.EXE or even you 
  1068.        writing your own bug report generator, you could literally 
  1069.        save hundreds of hours debugging your own software.
  1070.        
  1071.        
  1072.                      HOW WILL BETARPT.EXE HELP ME?
  1073.        
  1074.        The BETARPT.EXE application will directly help you by 
  1075.        standardizing all bug reports submitted by beta testers. 
  1076.        With this standardization in mind it will make your life of 
  1077.        correcting software bugs much, much easier. I can tell you 
  1078.        
  1079.        
  1080.                                    16
  1081.  
  1082.        
  1083.  
  1084.  
  1085.  
  1086.  
  1087.        that having a printed report of a bug is a whole lot easier 
  1088.        to read and understand than a scribbled note submitted by a 
  1089.        friend. Not to mention the reports can be saved to a file 
  1090.        for later recall in developing software updates because I 
  1091.        have provided you with a product recommendation area.
  1092.        
  1093.        
  1094.                                 SUMMARY
  1095.        
  1096.        In summary I have attempted to provide the information and 
  1097.        software used to create a successful beta test program. Once 
  1098.        again, this information is by no means complete. With the 
  1099.        thousands of software companies in existence today each will 
  1100.        operate differently, and so will you. Use this information 
  1101.        as the bedrock for the development of your own program and 
  1102.        you will not be disappointed.
  1103.        
  1104.        
  1105.                                TRADEMARKS
  1106.        
  1107.        I have used a few product names and software manufacturers 
  1108.        and wish to give them credit were credit is due;
  1109.        
  1110.        dBase IV is a trademark of Ashton-Tate, Borland 
  1111.        International.
  1112.        
  1113.        PC Tools is a trademark of Central Point Software.
  1114.        
  1115.        QuickBASIC is a trademark of Microsoft Corporation.
  1116.        
  1117.        IBM and OS/2 is a trademark of International Business 
  1118.        Machines Corporation.
  1119.        
  1120.        
  1121.        
  1122.        
  1123.        
  1124.        
  1125.        
  1126.        
  1127.        
  1128.        
  1129.        
  1130.        
  1131.        
  1132.        
  1133.        
  1134.        
  1135.        
  1136.        
  1137.        
  1138.        
  1139.        
  1140.        
  1141.                                    17
  1142.  
  1143.        
  1144.  
  1145.  
  1146.  
  1147.  
  1148.